Различия есть: в предложении С учёбой (—) беда слово беда имеет значение 'плохо, скверно' и близко по функции к словам категории состояния (аналогично обстоит дело со словом засада в предложении С контрольной (—) засада), а в предложении С дедушкой (—) беда слово беда употреблено в значении 'несчастье, горе' и выполняет функцию подлежащего в эллиптическом предложении (самостоятельно употребляемом предложении с отсутствующим сказуемым). В эллиптических предложениях тире ставится при наличии паузы и не ставится при её отсутствии. Что касается случаев первого типа, то пунктуация в них не кодифицирована, но, как представляется, здесь можно действовать аналогичным образом: ставить или не ставить тире в зависимости от паузы.

Оба варианта возможны.

Для постановки запятой нет оснований: это не сложное предложение, частица вот не обособляется.

Корректно: Но вот беда: я не умела играть ни на одном музыкальном инструменте.

Знакомство с этим фразеологизмом лучше всего начать с басни Ивана Андреевича Крылова "Лисица и виноград":

Голодная кума Лиса залезла в сад,
   В нем винограду кисти рделись.
   У кумушки глаза и зубы разгорелись;
А кисти сочные как яхонты горят;
   Лишь то беда, висят они высоко:
   Отколь и как она к ним ни зайдет,
      Хоть видит око,
      Да зуб неймет.
   Пробившись попусту час целой,
Пошла и говорит с досадою: "Ну, что ж!
      На взгляд-то он хорош,
   Да зелен - ягодки нет зрелой:
   Тотчас оскомину набьешь".

Вот что сказано об этом в справочнике Д. Э Розенталя.

Пишутся слитно с частицей не прилагательные, которые в сочетании с этой частицей приобретают противоположное значение (обычно такое слово можно заменить синонимом без не).

В зависимости от смысла частица не с краткими формами прилагательных может писаться то слитно, то раздельно; ср.: наша семья небогата (‘бедна’) — наша семья не богата (‘среднего достатка’); эта девушка некрасива (утверждается отрицательный признак) — эта девушка не красива (отрицается положительный признак); адрес неизвестен (отрицается «известность»); Невелика беда — дождь. — Не велика, казалось бы, эта дистанция для стайеров.

Таким образом, в Вашем случае рекомендуем писать слитно: Клиент всегда неправ.

Ваш спор легко разрешить с помощью толкового словаря. Приведем статью из словаря Н. Ю. Шведовой, где не только фиксируется современное значение слова, но и показано, как это значение возникло: 

БЕДОВЫЙ, -ая, -ое; -ов (разг.). Шустрый, сме-лый. Б. мальчишка. || сущ. бедовость, -и, ж.
 К беда; развитие знач.: ‘несущий беду, опасный, гибельный’ > ‘(о человеке) неуживчивый, беспокойный, вздорный’ > ‘смелый, шустрый’.

Изолированно часть СССР – он мой можно понять как конструкцию с именительным темы, тесно связанным с основным предложением. Однако такое понимание было бы верно, если бы в двух частях содержалось противопоставление типа: СССР – он не чужой, СССР – он мой; сравним пример из справочника: Дорога в дождь – она не сладость, дорога в дождь – она беда (Евт.). Однако в приведенном Вами предложении речь идет про род аббревиатуры СССР. 

В учебнике по русскому языку, издававшемся в СССР, говорится: «Имена существительные, к которым можно поставить слова мой, он, – мужского рода» (Закожурникова М. Л., Костенко Ф. Д., Рождественский Н. С. Русский язык : Учебник для второго класса. М., 1970. С. 135). Таким образом, слова он, мой в приведенном предложении могут быть цитатой из учебника, хотя и неточной; очевидно, именно в таком виде ее запомнил автор. В этом случае слова нужно заключить в кавычки. Тире, причем в обеих частях, уместно, так как в предложении подчеркивается противопоставление. Рекомендуем: СССР – не среднего рода, СССР – «он, мой».

Подлежащее – она, сказуемое – девушка непостоянная. Существительное Аня – именительный темы (именительный представления). Эта синтаксическая структура может быть оформлена по-разному. Вот, что об этом сообщают «Правила русской орфографии и пунктуации. Полный академический справочник» (под ред. В. В. Лопатина. М., 2016).

§ 23. Именительный падеж (именительный темы или представления) как синтаксическая структура, стоящая перед предложением, тему которого она представляет, отделяется знаками препинания, соответствующими концу предложения, – точкой, восклицательным знаком, вопросительным знаком, многоточием. Каждый знак вносит соответствующий смысловой и эмоциональный оттенок: Москва, Сибирь. Два эти слова звучали именем страны (Тв.); Слово! Язык! Об этом нужно писать не короткие статьи, а страстные воззвания к писателям (Пауст.); А наши шахты? Какая-нибудь Англия, что она в угольной промышленности понимает? (Фад.); Журавли... Заваленный работою – вдалеке от сумрачных полей, я живу со странною заботою – увидать бы в небе журавлей (Сол.); Холодные и дикие просторы!.. Как давно были сказаны впервые эти слова и были ли они сказаны кем-то?.. (Расп.).

Наиболее употребительны многоточие (подчеркивает момент раздумья, паузу) и восклицательный знак (экспрессивность) или сочетание восклицательного знака и многоточия.

Однако при именительном темы, более тесно связанном с основным предложением, в котором имеется личное или указательное местоимение в качестве слова-отсылки, ставится тире: Тягач – он как танк, только без башни (газ.); Марченко – тот был человек, золотой человек (Каз.); Дорога в дождь – она не сладость, дорога в дождь – она беда (Евт.).

Примечание. Допустимо используемое в практике печати и написание с запятой: Врач, он ведь тоже не Бог (Бык.); Судьбы человеческие, они – каждая сама по себе, хотя мы вроде бы сообща и всё у нас должно быть общим (Аст.); Наташа, та знала, что за человек ее тетя (Бит.).

§ 24. После именительного темы, сопровождаемого вопросительным предложением, ставится точка: Научный потенциал. Как им распорядиться? (газ.); Гастроли в Москве. Что они значат? (газ.); Разум на других планетах. Каков он? (журн.).

Примечание. Допустимо используемое в практике печати и написание со знаком двоеточие: Студенческий быт: каким ему быть? (газ.).

Если после именительного темы стоит вопросительная часть конструкции, которая также представляет собой форму именительного падежа, то ставится тире: Сценарий – произведение или полуфабрикат? (газ.); «Зеленая революция» – легенда или реальность? (газ.). В таких случаях возможна подстановка слова это. Ср.: Парапсихология – это трюк или реальность? Действительность или фикция? (газ.).

Примечание 1. Допустимо используемое в практике печати и написание со знаком двоеточие перед вопросительной конструкцией. Например: Стадион: «цех здоровья» или футбольная арена? (газ.); Литературное произведение: символ или модель? (газ.).

Примечание 2. Данные структуры с именительным темы отличаются от двусоставных предложений с подлежащим и сказуемым в именительном падеже интонацией: интонация именительного темы схожа с интонацией конца предложения (понижение тона и пауза), тогда как подлежащее в двусоставном предложении не фиксирует конечной паузы. Ср.: Стадион – цех здоровья (подлежащее и сказуемое). Здесь подлежащее и сказуемое связаны воедино интонацией утверждения.